From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings
从碎片到融合：全模态嵌入综述与路线图
🧭 多模态嵌入统一框架与路线图
Ant Group · Shanghai Jiao Tong University · Australian National University · Tongji University · National University of Singapore
提出覆盖、可比、组合三能力框架与三条统一路径，系统梳理多模态嵌入研究
📌 工作参考价值（4 点）
- 在推荐/搜索中构建多模态商品或内容 embedding 时，先诊断系统在 3C 上的短板：是否覆盖了用户 query、商品图、描述、视频等所有输入？不同模态 embedding 是否真的可比（同空间）？若需组合属性（如“红色连衣裙”），仅靠对齐可能不足，应评估联合嵌入。
- 工程实现上可阶段式升级：若资源有限，先用 transformation 将表格、图等序列化为文本，复用现有 text encoder 快速上线；但要注意转换损失，适合冷启动和 MVP。
- 对比学习对齐双塔（如图文）存在 modality gap，导致跨模态检索的相似度分数不可直接比较；可在损失中加 gap 校准项，或后处理投影到同一子空间，提升图文一致性。
- 对 Agent 场景：当 LLM 需要理解混合输入（商品列表、图片、用户行为）时，优先使用联合嵌入模型而非分别编码再拼接，以保留组合语义，便于后续推理。